Crawl intelligent et adaptatif d'applications web pour l'archivage du web

RÉSUMÉ. Les sites web sont par nature dynamiques, leur contenu et leur structure changeant au fil du temps; de nombreuses pages sur le web sont produites par des systèmes de gestion de contenu (CMS). Les outils actuellement utilisés par les archivistes du web pour préserver le contenu du web collectent et stockent de manière aveugle les pages web, en ne tenant pas compte du CMS sur lequel le site est construit ni du contenu structuré de ces pages web. Nous présentons dans cet article un application-aware helper (AAH) qui s’intègre à une chaine d’archivage classique pour accomplir une collecte intelligente et adaptative des applications web. Parce que l’AAH est conscient des applications web actuellement collectées, il est capable de raffiner la liste des URL à traiter et d’ajouter à l’archive de l’information sémantique sur le contenu extrait. Afin de traiter les changements possibles de structure des applications web, notre AAH inclut un module d’adaptation qui rend la collecte résistante aux petits changements de structure du site web. Nous démontrons la valeur de notre approche en comparant la sortie et l’efficacité du AAH par rapport à des robots web traditionnels, également en présence de changements de structure.